Estudio sistemático de mapeo sobre evaluación de competencias mediante la extracción de indicadores procedentes de los registros de actividad de los entornos de aprendizaje virtuales

El interés en la evaluación del aprendizaje ha cambiado del conocimiento a las competencias. Las competencias de aprendizaje son habilidades que un alumno ha de ser capaz de demostrar una vez que termina su formación. Estas competencias de aprendizaje se dividen en dos grupos: específicas y genéricas. Competencias específicas son aquellas relacionadas directamente con la utilización de conceptos, teorías o habilidades propias de un área en concreto, mientras que las competencias genéricas son habilidades, capacidades y conocimientos que cualquier estudiante debería desarrollar independientemente de su área de estudio. Aunque obviamente sigue siendo muy importante el desarrollo del conocimiento específico de cada área de estudio, es un hecho que el tiempo y la atención también deben dedicarse al desarrollo de las competencias genéricas. Igualmente es importante reconocer la aplicación de dichas habilidades genéricas fuera del ámbito académico, ya que son cada vez más relevantes para la preparación de estudiantes para su futuro papel en la sociedad, en términos de empleabilidad y ciudadanía. El objetivo de este trabajo es, desde el punto de vista de la tecnología, realizar una revisión de la literatura en forma de "Estudio sistemático de mapeo" sobre los métodos y técnicas utilizados en otros trabajos para evaluar el desempeño de los estudiantes en diferentes competencias genéricas.61 página

Evaluación de competencias genéricas basada en indicadores procedentes de registros de actividades de aprendizaje

El desarrollo de las competencias genéricas es a día de hoy clave en la preparación de estudiantes para su futuro papel en la sociedad. Ante esta situación, los centros de enseñanza han de complementar la docencia del conocimiento específico con el entrenamiento y la evaluación del ejercicio de competencias genéricas. Esto ocurre en un contexto en el que las tecnologías de la información y la comunicación están consolidadas en todos los niveles educativos. Los docentes tienen a su disposición una miríada de entornos virtuales de aprendizaje con los que gestionar y supervisar el proceso de enseñanza de sus estudiantes. En el análisis de la literatura se han identificado trabajos que utilizan las nuevas tecnologías como apoyo en la evaluación de competencias genéricas. Sin embargo, los métodos mayormente utilizados hasta ahora para la evaluación de dichas competencias presentan los siguientes inconvenientes: problemas de escalabilidad para realizar las evaluaciones con grupos grandes de estudiantes, notables diferencias entre las calificaciones dadas por los estudiantes en procesos de autoevaluación o evaluación entre iguales con respecto a las calificaciones que asignaría el docente, el propósito demasiado específico de algunas herramientas, el esfuerzo necesario para poner en práctica ciertas soluciones, y la aplicabilidad de unos indicadores para medir competencias fuera del contexto en el que se definieron. Por todo esto se detecta la necesidad de desarrollar un método para la evaluación asistida de competencias genéricas. En esta tesis se propone un método de evaluación denominado design-based assessment que propone la utilización de la información de los registros de actividad de los estudiantes en entornos virtuales de aprendizaje para diseñar indicadores con los que medir su desempeño en competencias genéricas. El método se contextualiza en la metodología de investigación design-based research, ya que el diseño de indicadores se lleva a cabo dentro de un proceso iterativo en el que se va refinando el diseño (ciclo de contraste de hipótesis). Para poner en práctica el método se han desarrollado dos lenguajes específicos de dominio con los que facilitar el cálculo de indicadores de dos entornos virtuales de aprendizaje diferentes: sistemas de gestión de aprendizaje y mundos virtuales. Para la evaluación del método y las herramientas se han realizado seis estudios de caso en tres entornos virtuales de aprendizaje diferentes: wikis, sistemas de gestión de aprendizaje y mundos virtuales. Además, las propuestas realizadas en esta tesis han sido evaluadas por docentes de todos los niveles educativos y pertenecientes a todas las ramas de conocimiento. Los resultados proporcionan, en primer lugar, evidencias a favor de que el método definido permite a los docentes obtener de manera automática valores para un conjunto de indicadores que el diseñador de la evaluación puede expresar a partir de los registros de actividad de los entornos virtuales de aprendizaje. En segundo lugar, también proporcionan evidencias a favor de que las herramientas desarrolladas les permitan tanto diseñar como contrastar estrategias de evaluación a partir de los registros de estos entornos

EvalCourse: un Lenguaje Específico de Dominio para obtener indicadores del desarrollo de competencias a través de un LMS

Hoy en día es casi tan importante que un estudiante adquiera los conocimientos necesarios para ser un buen profesional en lo que estudia, como que adquiera las competencias necesarias, genéricas y específicas, que a un profesional la rama objeto de estudio se le deben suponer. Pero la evaluación de estas competencias no es una tarea sencilla, y muchas veces puede basarse en la simple observación que el docente hace sobre el trabajo del alumno en clase, llegando a ser una evaluación muy subjetiva. Con EvalCourse, se pretende proporcionar una herramienta que otorgue al docente unos criterios cuantificables para evaluar el desempeño de los estudiantes en base a dichas competencias. EvalCourse se va a implementar como un Lenguaje de Dominio Específico (DSL). Un DSL es un lenguaje de programación orientado a un problema específico y con una semántica orientada al dominio para el que se diseña. En nuestro caso, este dominio es la evaluación de indicadores de competencias de los estudiantes. El objetivo de EvalCourse es ayudar al docente en la evaluación del desempeño de los alumnos en las competencias que éstos deben desarrollar a lo largo del curso. Para llevar a cabo esta función tomará los datos que necesite de un LMS (Learning Management System). Estos datos deberán servir al docente como indicadores del desarrollo de dichas competencias. El LMS para el que se ha creado este software inicialmente es Moodle, ya que es la plataforma virtual que se utiliza en la Universidad de Cádiz y con el que todos estamos más familiarizados. De todas formas, la idea inicial con la que se ha desarrollado este proyecto, es que el DSL sea genérico y pueda ser utilizado con otros sistemas, no sólo de tipo LMS, sino también con sistemas que fomenten el trabajo colaborativo, como pueden ser los wikis. Por ejemplo, MediaWiki es utilizado también en el ámbito de la docencia en nuestra Universidad. Para su desarrollo utilizaremos Eclipse Modeling Framework (EMF). EMF es el núcleo de la herramienta Eclipse para el desarrollo dirigido por modelos. El metamodelo de EvalCourse será desarrollado con Ecore. Y para especificar un lenguaje, la gramática será descrita utilizando el lenguaje Xtext. El producto final se instala como un plugin adicional en la herramienta Eclipse que deberá tener el docente o usuario del programa. Para su utilización éste deberá crear, utilizando nuestro DSL, una sentencia indicando la información que se desea obtener. Como resultado se obtiene un fichero para el programa Kettle de Pentaho, un software que sirve para generar informes y para minería de datos. Desde EvalCourse a través de este fichero se podrán obtener tanto los datos de la evaluación de indicadores de competencias en un formato textual, como en formato gráfico. Para obtener información de Moodle, el software extraerá de la base de datos los datos de la participación, entrega de tareas o acceso de los alumnos a Moodle. Estos datos podrán ser utilizados por el docente como indicadores de las competencias. En los próximos capítulos explicaremos la sintaxis del DSL, sus aspectos técnicos y toda la información relativa al desarrollo e implementación de la herramienta

Herramienta Virtual de Aprendizaje para el Entrenamiento del Lenguaje Normalizado en Inglés para las Comunicaciones Marítimas

El lenguaje utilizado para la comunicación entre buques, buque-estación de tierra o buque-helicóptero es una actividad muy específica que requiere el uso de un compendio de frases normalizadas para las comunicaciones marítimas. En el ámbito académico, el entrenamiento y aprendizaje de este lenguaje queda muy alejado de la experiencia marítima real. Por un lado, difícilmente se puede entrenar por uno mismo y necesitas de otra persona para simular las interacciones que tienen lugar en el contexto marítimo. Por otro lado, al entrenar con otros estudiantes, ni todos tienen el mismo nivel ni llevan el mismo ritmo de aprendizaje. Para abordar estos problemas, en este trabajo se ha desarrollado la herramienta informática SMCP-Training para la formación en Inglés Marítimo. Esta herramienta se ha utilizado en dos asignaturas impartidas en la Escuela de Ingenierías Marina, Náutica y Radioelectrónica de la Universidad de Cádiz. Tanto los resultados recogidos tras su aplicación, como las impresiones de los estudiantes ofrecen evidencias positivas acerca de los beneficios de su uso como recurso primario para el aprendizaje y como refuerzo de lo aprendido.Proyectos de Innovación y Mejora Docente (proyecto sol-201500054563-tra y proyecto sol-201600064916-tra)

Assessment in Software Development for Competitive Environments: An AI Strategy Development Case Study

Competitions are being widely used to motivate students in diverse learning processes, including those in computer programming. This paper presents a methodology for designing and assessing competitive learning scenarios that allow students to develop three different coding skills: the ability to compete against unknown competitors, the ability to compete against known competitors and the ability to compete against refined versions of known competitors. The proposal is based on peer code review, implemented as an improvement cycle after the dissemination of the code among participants. A case study evaluating the methodology was conducted with two cohorts of students in an undergraduate course. The analysis of the obtained grades suggests that while performance after our assistance was improved, students could still fail or succeed independently of the assistance. Complementary data from student questionnaires and supervisor observations are aligned with this finding. As a conclusion, the evidence supports the validity of the methodology. Additionally, several guidelines based on the experience are provided to transfer the proposal to other environments.This research was funded by Spanish National Research Agency (AEI), through the project VISAIGLE (TIN2017-85797-R) with ERDF funds

Evaluación de competencias en trabajos colaborativos en wikis: una aproximación mixta cuantitativa-cualitativa

En este informe comentaremos diversas competencias que pueden ser evaluadas de manera automatizada cuando se hace un trabajo colaborativo. Para ello nos apoyaremos en herramientas libres disponibles para el software MediaWiki, el sistema de gestión de wikis más famoso a nivel mundial (es el que soporta Wikipedia y sus proyectos hermanos entre otros)

Assessment of Generic Skills through an Organizational Learning Process Model

This contribution has been published in this repository with the permission of the publisher. This contribution was presented in WEBIST 2018 (http://www.webist.org/?y=2018) and has been published by SCITEPRESS in http://www.scitepress.org/PublicationsDetail.aspx?ID=y9Yt0eHt02o=&.The performance in generic skills is increasingly important for organizations to succeed in the current competitive environment. However, assessing the level of performance in generic skills of the members of an organization is a challenging task, subject to both subjectivity and scalability issues. Organizations usually lay their organizational learning processes on a Knowledge Management System (KMS). This work presents a process model to support managers of KMSs in the assessment of their individuals’ generic skills. The process model was deployed through an extended version of a learning management system. It was connected with different information system tools specifically developed to enrich its features. A case study with Computer Science final-year students working in a software system was conducted following an authentic learning approach, showing promising results.Visaigle Project (grant TIN2017-85797-R)

Las actividades en el aula: participación activa y refuerzo de conceptos

El objetivo del proyecto es potenciar la participación activa del alumnado en la realización de las diversas actividades propuestas a lo largo del curso, tanto en la parte teórica como en la parte práctica de las asignaturas implicadas en el mismo. Con esto se pretende mejorar el rendimiento académico, el uso de los recursos didácticos de los materiales elaborados por el profesorado y disponibles en la UCA

Privacy Preservation and Analytical Utility of E-Learning Data Mashups in the Web of Data

Virtual learning environments contain valuable data about students that can be correlated and analyzed to optimize learning. Modern learning environments based on data mashups that collect and integrate data from multiple sources are relevant for learning analytics systems because they provide insights into students' learning. However, data sets involved in mashups may contain personal information of sensitive nature that raises legitimate privacy concerns. Average privacy preservation methods are based on preemptive approaches that limit the published data in a mashup based on access control and authentication schemes. Such limitations may reduce the analytical utility of the data exposed to gain students' learning insights. In order to reconcile utility and privacy preservation of published data, this research proposes a new data mashup protocol capable of merging and k-anonymizing data sets in cloud-based learning environments without jeopardizing the analytical utility of the information. The implementation of the protocol is based on linked data so that data sets involved in the mashups are semantically described, thereby enabling their combination with relevant educational data sources. The k-anonymized data sets returned by the protocol still retain essential information for supporting general data exploration and statistical analysis tasks. The analytical and empirical evaluation shows that the proposed protocol prevents individuals' sensitive information from re-identifying.The Spanish National Research Agency (AEI) funded this research through the project CREPES (ref. PID2020-115844RB-I00) with ERDF funds

Cómo configurar y utilizar el taller de Moodle

Tutorial práctico sobre cómo configurar y utilizar la herramienta "Taller" de Moodle. Documento asociado al proyecto "Desarrollo de la capacidad crítica mediante el uso del taller de evaluación por pares", de la convocatoria de proyectos de Innovación y Mejora Docente del curso 2014/15.El módulo de actividad taller de Moodle permite la recopilación, revisión y evaluación por pares del trabajo de los estudiantes. En este trabajo se muestra cómo se configura paso a paso dicho módulo con el fin de aplicarlo para desarrollar y fomentar el pensamiento crítico de nuestros estudiantes